热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

原创|大数据入门基础系列之ClouderaManager版本的Hive安装部署

添加服务,一




点击上方 "大数据躺过的坑" 关注我们











在前面的博文里,我已经介绍了

大数据躺过的坑之2017年9月份所有微信公众号干货汇总

大数据躺过的坑之2017年10月份所有微信公众号干货汇总

大数据入门基础系列之ZooKeeper是什么?

原创 | 大数据入门基础系列之ZooKeeper是什么?(补充)

原创 | 大数据入门基础系列之ZooKeeper的特点

【夜读】20多岁的尴尬,你怕不怕?

原创 | 大数据入门基础系列之ZooKeeper如何实现分布式锁

【夜读】你不优秀,可能是因为你在“假装努力”

原创 | 11月的第一个双休日,送你一首好美的歌!祝你开心,快乐,幸福!

原创 | 大数据入门基础系列之Apache版本的Zookeeper集群详细部署搭建(包括单节点、3节点、5节点)

【夜读】你在消磨时光,时光也在消磨你

原创 |【福利】Adobe Photoshop CC 2015 (32/64 Bit)功能及破解方法

在吗?我想你了!《想你的夜晚》我好孤独!你也在想我吗?

原创 | 大数据入门基础系列之CDH版本的Zookeeper集群详细部署搭建(3节点)

【夜读】慢慢变好,是给自己最好的礼物

原创 | 福利大放送:机器学习视频干货资料免费分享(100G)更新ing

原创 | 程序员该如何有效率的提升自己?

他人投稿 | 大数据入门基础系列之目前最新Apache的Zookeeper稳定版本集群详细部署搭建(3节点)(补充)

原创 | 当你垂头丧气看不清未来的时候就读一遍,夜空中最闪亮的星照耀着你

写给正在忙论文的你 |  搜集论文材料的重要性

【夜读】你不优秀,认识谁都没用

原创 | 大数据入门基础系列之浅谈ZooKeeper的数据模型

【夜读】你一无所有,你拥有一切。但,你得小心了

原创 | 大数据入门基础系列之ZooKeeper的三类角色(Leader、Follower、ObServer)

【夜读】你自己不努力改变,没有人能替你成长

大数据入门基础系列之ZooKeeper的浅谈集群间消息通信

【夜读】小时候我以为,长大后会没有烦恼……

原创 | 大数据入门基础系列之浅谈ZooKeeper的数据存储结构

原创 |  九月哥给大家发红包雨口令

原创  |“大数据躺过的坑”来啦, 这就是比“双11”更重要的活动!

【夜读】一个人,也可以活成千军万马

【夜读】今晚,重温父亲的《背影》,致远方老家的父亲

原创  |  大数据入门基础系列之浅谈ZooKeeper的架构图

【夜读】最怕你抱怨,你又不去改变

原创 | 大数据入门基础系列之浅谈ZooKeeper的读写数据

【夜读】你以为是自己输在了起跑线,其实是别人赢在了终点

原创 | 大数据入门基础系列之浅谈ZooKeeper的数据读写一致性

原创 |  九月哥:天下没有免费的午餐(大数据躺过的坑)

【夜读】真正自律的人,从不给自己找借口

原创 | 大数据入门基础系列之ZooKeeper如何处理单点故障

【夜读】生活越糟糕,你越要过得好

原创 | 大数据入门基础系列之ZooKeeper的运行模式

原创 | 大数据入门基础系列之ZooKeeper的读写机制

原创 | 大数据视频干货资料免费分享(100G)更新ing

原创 | 福利大放送:机器学习和深度学习视频干货资料免费分享(100G)更新ing

【夜读】你烦恼的根源主要在于,想得太多却做得太少

原创 | 大数据入门基础系列之ZooKeeper的Server

【夜读】从现在开始,就是最好的时间

原创 |  大数据入门基础系列之ZooKeeper如何保证服务的高可用性

原创 | 致敬曾经的我,送给2018考研的你们(最后32天)

【夜读】人和人的差距,到底是怎么拉开的

原创 | 大数据入门基础系列之详谈ZooKeeper的原子广播机制和Zab协议

【夜读】今天没有比昨天糟,就很好呀

原创 | 大数据入门基础系列之浅谈ZooKeeper的应用场景(上)

原创 | 大数据入门基础系列之浅谈ZooKeeper的应用场景(下)

原创 | 感恩节,你感恩了么?

【夜读】你不是没时间,你只是不去行动

原创 | 大数据入门基础系列之浅谈ZooKeeper的写数据流程(面试热点)

原创 | 大数据入门基础系列之详谈Hive是什么?








      陆续写出以上博文,在对hadoop集群安装,今天收到群里群外好几位朋友的留言。

目前向我咨询:

   (1)我到底如何去安装哪种版本的集群;

   (2)我的配置是怎样怎样,然后帮我参考分析等,我内存只有,是不是小了,怎么办?

   (3)我公司已经有N台机器,还想扩M台机器?

    (4)怎么样去做数据备份和迁移?

    (5)... ...


 我的回答:

    (1)如果你是大数据的初学者,以及你自己电脑条件有限(我相信,大部分人的电脑物理内存都是最大8G),为此,也是更好地去把基础和原理夯实基础,所以,建议初学的你从Apache版本的hadoop集群开始学起。

      大数据入门基础系列之Apache版本的hadoop集群详细部署搭建(包括HA和非HA)(包括单节点、3节点、5节点)



     (2)内存小了,如果你才有4G,是严重不满足大数据集群的最低配置的。除非你弄个单节点伪分布集群,但是,也是非常暂时的一个学习时间阶段,必须至少得去加内存条达到8G。

        至于如何加内存条,这里可以参考我之前给自己电脑加内存条写下的一篇博文,仅供参考,不懂的可以在本平台对应群里进行交流。(不难)

给自己电脑加内存条的一些事

http://www.cnblogs.com/zlslch/p/5830875.html


     (3)(4)关于从N台现有机器,到扩容至M台机器,我后续整理再贴出博文。目前这方面,由于在校明年6月份毕业的我,并没有来得及有其他精力来亲身做这方面的工作。

     (5)... ...



    在这里,我先说明下,有博友留言给我说,没有写出ClouderManager版本的hadoop集群搭建博文,为此,特意写出此篇博文。

      1 、最近一段时间,因担任我团队实验室的大数据环境集群真实物理机器工作,至此,本人秉持负责、认真和细心的态度,先分别在虚拟机上模拟搭建ambari(基于CentOS6.5版本)和cloudermanager(基于CentOS6.5或Ubuntu14.04版本)。

  2、大数据集群范围包括3节点和4节点。本人都尝试过。

  3、 安装搭建包括离线和在线。本人都尝试过

  4、 版本包括自定义指定和官方最新版本搭建。本人都尝试过。

  5、大数据集群节点的增加和删减。本人都尝试过。

  6、虚拟机和真实物理机上搭建。本人都尝试过。




Cloudera Manager是啥?主要是干啥的?

http://www.cnblogs.com/zlslch/p/6674972.html


CentOS6.5下Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

http://www.cnblogs.com/zlslch/p/6815670.html



Ubuntu14.04下Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)(在线或离线)

http://www.cnblogs.com/zlslch/p/7076561.html




关于在真实物理机器上用cloudermanger或ambari搭建大数据集群注意事项总结、经验和感悟心得(图文详解)

http://www.cnblogs.com/zlslch/p/7093829.html









ClouderaManager版本的Hive安装部署

大数据入门基础系列之ClouderManager版本的hadoop集群详细部署搭建(1、3、4节点)(在线或离线)


        对于关于ClouderaManager版本的hive,是非常的简单,也许你刚开始在安装ClouderaManager时没有考虑到hive(比如你开始因为你的笔记本学习条件有限,就只安装了个hadoop)。然后, 你现在需要来安装并学习hive组件,其实,这都是非常简单的。添加服务,一步一步走下去就是了。








同时,大可以关注我的个人博客

   http://www.cnblogs.com/zlslch/   和  http://www.cnblogs.com/lchzls/ 



       以及对应本平台的QQ群:161156071(大数据躺过的坑)








        本文版权归大数据躺过的坑)作者和微信公众平台共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接,否则保留追究法律责任的权利。 如果您认为这篇文章还不错或者有所收获,您可以通过下边的“打赏”功能 打赏我一杯咖啡【物质支持】,也可以点击右下角的【点赞】按钮【精神支持】,因为这两种支持都是我继续写作,分享的最大动力!

看完本文有收获?请转发分享给更多人

关注「大数据躺过的坑」,提升大神技能






觉得不错,请点赞和留言↓



推荐阅读
  • 本文探讨了Web开发与游戏开发之间的主要区别,旨在帮助开发者更好地理解两种开发领域的特性和需求。文章基于作者的实际经验和网络资料整理而成。 ... [详细]
  • 本文探讨了如何在Hive(基于Hadoop)环境中编写类似SQL的语句,以去除字段中的空格。特别是在处理邮政编码等数据时,去除特定位置的空格是常见的需求。 ... [详细]
  • Java多重继承的替代方案及设计考量
    本文探讨了Java为何不支持多重继承,并深入分析了其背后的原理和替代方案。通过理解Java的设计哲学,开发者可以更好地利用接口和其他特性来实现复杂的类结构。 ... [详细]
  • 深入解析Hadoop的核心组件与工作原理
    本文详细介绍了Hadoop的三大核心组件:分布式文件系统HDFS、资源管理器YARN和分布式计算框架MapReduce。通过分析这些组件的工作机制,帮助读者更好地理解Hadoop的架构及其在大数据处理中的应用。 ... [详细]
  • 本文详细介绍了Java的安装、配置、运行流程以及有效的学习方法,旨在帮助初学者快速上手Java编程。 ... [详细]
  • 深入解析BookKeeper的设计与应用场景
    本文介绍了由Yahoo在2009年开发并于2011年开源的BookKeeper技术。BookKeeper是一种高效且可靠的日志流存储解决方案,广泛应用于需要高性能和强数据持久性的场景。 ... [详细]
  • 前言无论是对于刚入行工作还是已经工作几年的java开发者来说,面试求职始终是你需要直面的一件事情。首先梳理自己的知识体系,针对性准备,会有事半功倍的效果。我们往往会把重点放在技术上 ... [详细]
  • 迎接云数据库新时代:程序员如何应对变革?
    在数据无处不在的时代,数据库成为了管理和处理数据的核心工具。从早期的信息记录方式到现代的云数据库,数据库技术经历了巨大的变革。本文将探讨云数据库的特点及其对程序员的影响。 ... [详细]
  • 性能测试工具的选择与应用
    本文探讨了性能测试工具的重要性及其在软件测试中的作用,重点介绍了选择合适性能测试工具的考量因素,并对几种常用的性能测试工具进行了对比分析。 ... [详细]
  • 全能终端工具推荐:高效、免费、易用
    介绍一款备受好评的全能型终端工具——MobaXterm,它不仅功能强大,而且完全免费,适合各类用户使用。 ... [详细]
  • java程序员_Java程序员最新职业规划,逆袭面经分享
    java程序员_Java程序员最新职业规划,逆袭面经分享 ... [详细]
  • SpringCloud电商平台开发指南:实战案例解析
    本文详细介绍了基于SpringCloud构建的电商平台项目,涵盖了从技术选型到项目部署的全流程,旨在帮助开发者快速掌握电商平台的开发技巧。 ... [详细]
  • ArcXML:互联网空间数据交换的专用语言
    ArcXML是一种专为ArcIMS平台设计的数据交换协议,基于XML标准,用于在不同组件之间传输和描述地理空间数据。本文将详细介绍ArcXML的背景、用途及其与XML的关系。 ... [详细]
  • MapReduce原理是怎么剖析的
    这期内容当中小编将会给大家带来有关MapReduce原理是怎么剖析的,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。1 ... [详细]
  • Spring Cloud因其强大的功能和灵活性,被誉为开发分布式系统的‘一站式’解决方案。它不仅简化了分布式系统中的常见模式实现,还被广泛应用于企业级生产环境中。本书内容详实,覆盖了从微服务基础到Spring Cloud的高级应用,适合各层次的开发者。 ... [详细]
author-avatar
mobiledu2502853623
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有